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Abstract of EP0283715 

For coding image signals, particularly for the 
colour transmission of individual images, spectral 
coefficients are formed by means of a DCT. The 
sensitivity of a perceptibility threshold decision 
arrangement applied to blocks of these spectral 
coefficients is controlled in dependence on the 
occurrence of edge structures in the image 
content. The threshold decision is followed by a 
quantisation and an entropy encoding. For the 
data reduction, classes are allocated block by 
block to the spectral coefficients. The 
transmission of a class information is sufficient 
for identifying the spectral coefficients for such 
classes. 
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© Verfahren zur Codierung von Bildsignalen. 



© Zur Codierung von Bildsignalen, insbesondere fur die Farbeinzelbiidubertragung, werden Spektralkoeffizie- 
nten rr : ^-ls einer DCT gebildet Eine Wahrnehmbarkeits-Schweilwertentscheidung angewendet auf Blocke 
dieser S^ktralkoeffizienten wird in ihrer Empfindlichkeit in Abhangigkeit des Auftretens von Kantenstrukturen im 
Bildinhalt gesteuert. Eine Quantisierung und eine Entropiecodierung schlieflt sich an die Schwellwerterrt- 
scheidung an. Zur Datenreduktion werden den Spektralkoefflzienten blockweise Klassen zugeordnet. Zur 
Identifizierung der Spektraikoeffizienten zu solchen Klassen genUgt die Ubertragung einer Kiasseninformation. 
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Method for coding image signals 

Description of EP0283715 

Verfahren zur Codierung von Bildsignalen 



Die Erfindung betrifft ein Verfahren gemass dem Oberbegriff des Patentanspruchs 1 . Ein solches 
Verfahren ist bekannt aus "Digital Image Processing, William K. Pratt, Wiley - Interscience Publication, 
New York/Chichester/Brisbane/Toronto, Seiten 471-499". Dort werden verschiedene Verfahren zur 
Erkennung von Kantenstrukturen in Bildsignalen vorgestellt, die einer diskreten Transformation 
unterzogen wurden. Aus "IEEE Transactions on Communications, Vol.Com-32, No. 3, March 1984, Seiten 
225-232" ist es bekannt, Bildsignale einer Diskreten Cosinus Transformation zu unterziehen.Um eine 
niedrige Codierrate zu erhalten, werden die Transformationskoeffizienten in dem Sinne adaptiv quantisiert, 
dass Bldcken von Koeffizienten, die grosse Energieanteile enthalten, mehr Quantisierungsschwellen und 
Codierbits zugeordnet werden als Blocken mit geringen Energieanteilen. 

Aus "Orthogonal Transforms for Digital Signal Processing, N. Ahmed, K.R. Rao, Springer Verlag, 
Berlin/Heidelberg/New York, Seiten 225-253", ist es bekannt, Bildsignale zur Datenreduktion zu 
klassifizieren. 

Aufgabe der Erfindung ist es, das Verfahren ausgehend vom Oberbegriff des Patentanspruchs 1 so 
auszugestalten, dass eine Einzelbildubertragung, insbesondere eine Farbeinzelbildubertragung uber 
einen Ubertragungskanal mit begrenzter Kapazitat ohne Qualitatseinbussen mdglich ist. Diese Aufgabe 
wird durch die Massnahmen des Patentanspruchs 1 gelost. 

Anspruch 2 zeigt eine vorteilhafte Weiterbildung auf, die die Ubertragungsrate erheblich reduziert. Dies ist 
dadurch moglich, dass furjeden Block eines Bildes ein Satz von Spektralkoeffizienten, der zu einer Klasse 
gehort, ausgewahlt wird und fur diese Auswahl nur eine Klassenzugehorigkeitsinformation ubertragen 
werden muss. 

Das Verfahren gemass der Erfindung hat insbesondere den Vorteil, dass sich das ubertragene Einzelbild 
auf der Empfangerseite sehr schnell aufbaut (ca. 2 sec bei einer Ubertragungsrate von 64 kbits/s). Die 
Datenkompression beim Verfahren nach der Erfindung ist so stark, dass die durchschnittliche Bitrate, die 
zur Codierung der Farbbilder ndtig ist, weniger als 0,7 bit per pel (picture element) betragt. 

Anhand der Zeichnungen wird ein Ausfuhrungsbeispiel der Erfindung nun naher erlautert. Es zeigen 

Fig. 1 die Verfahrensschritte der Erfindung in einem Ablaufdiagramm, 

Fig. 2a,b,c Tabellen der Wahrnehmbarkeitsschwellwerte fur die einzelnen Bildkomponenten, 

Fig. 3 das Blockschaltbild eines Pradiktors, 

Fig. 4 die Anordnung der Referenzwerte fur die DC-Pradiktion, 

Fig. 5 die Pradiktionskoeffizienten fur den DC-Anteil, 

Fig. 6 einen Ubersichtsplan der Kantenerkennung, 

Fig. 7 die Edgepoint Entscheidung, 

Fig. 8 den Funktionsablauf der Klassifikation, 

Fig. 9 eine Wahrheitstabelle zur Klassenselektion bezuglich der l-Komponente, 

Fig. 10 eine Wahrheitstabelle zur Klassenselektion bezuglich der Q-Komponente, 

Fig. 1 1 aus Klassen abgeleitete Terme der Luminanzkomponente y, 

Fig. 12 die Bildung der Kardinalzahlen tkd, 

Fig. 13 aus Termen gebildete Klasseninformationen cny, 

Fig. 14 den Ablauf der Blockquantisierung, 

Fig. 15 den Ablauf der Transmission Coding, 

Fig. 16 die Entropiecodierung fur die Luminanzkomponente y, 

Fig. 17 die Entropiecodierung fur die Chromakomponente I, 

Fig. 18 die Entropiecodierung fur die Chromakomponente Q, 

Fig. 19 die Entropiecodierung fur AC-Koeffizienten, 

Fig. 20 die Codierung der DC Koeffizienten. 



Das Ablaufdiagramm gemass Fig. 1 zeigt die einzelnen Verfahrensschritte der Erfindung. Das zur 
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Verfugung stehende Bildsignal wird zuerst in Blocke zerlegt (Block Decomposition). Die bei der 
Blockbildung erzeugten Teilbildbereiche werden zweckmassigerweise gleich gross und quadratisch 
gewahlt. Die Teilbildbereiche konnen durch die Bildelementwerte xij vollstandig beschrieben werden, 
wobei i und j Indexvariablen sind, die von 1 bis N laufen. Die Bildelemente lassen sich durch die 
Blockfunktion BC (cc, bn, N) darstellen, wobei cc die Luminanzkomponente Y oder die Farbkomponenten I 
und Q, bn die Blocknummer und N die Grosse des Blocks Nx N mit N beispielsweise 8 angibt. Die in 
Blocke zerlegten Teilbildbereiche werden nun einer Diskreten Cosinus Transformation DCT(Discrete 
Cosine Transform) unterzogen.Es entstehen dadurch Spektralkoeffizienten Wk.l mit k und I als 
Indexvariablen, die von 1 bis N laufen. Parallel zur DCT wird eine Kantenerkennung ED (Edge detection) 
vorgenommen, die zu Kantenblockinformationen 
eb = ED (xij) 
fuhrt. 

Die DCT Transformation ist hinreichend bekannt, beispielsweise aus IEEE Transactions on 
Communications, Vol. COM-32, No. 3, March 1984, Seiten 225 bis 232, so dass an dieser Stelle nicht 
naher darauf eingegangen wird. 

Aus den Speichern einer solchen DCT Transformationseinheit werden Gleich- und Wechselanteile 
getrennt ausgelesen, d.h. die Spektralkoeffizienten stehen blockweise aufgespalten zur 
Weiterverarbeitung zur Verfugung. Gleichanteile, nachfolgend mit DC bezeichnet, bedeuten in diesem 
Zusammenhang jeweils mittlere Helligkeitswerte bezuglich der Luminanzkomponente und mittlere 
Farbsattigungswerte bezuglich der Chromakomponenten fur jeden Block von Spektralkoeffizienten. 
Wechselanteile, nachfolgend mit AC bezeichnet, bilden die jeweiligen ortlichen Abweichungen von diesen 
mittleren Werten innerhalb eines Blockes fur jeden Spektralkoeffizienten. 

Bezuglich der AC-Anteile erfolgt nun ein Vergleich der Spektralkoeffizienten mit visuellen 
Wahrnehmbarkeitsschwellen, die gemass der Empfindlichkeit des menschlichen Auges gewahlt sind, 
mittels einer Wahrnehmbarkeitsschwellwertentscheidung (Spectral Thresholding), die sich durch die 
Beziehung 

Ssthk.l = TR(thk,l, Wk.l, cc, eb) 

beschreiben lasst. 

sthkj (supra-threshold information) 

wird als Binarwort mit N x N bits als Ausgangssignal abgegeben. Die 

Wahrnehmbarkeitsschwellwertentscheidung wird von der Kantenerkennung ED in dem Sinne gesteuert, 
dass eine Schwellwertreduzierung erfolgt, wenn Kantenstrukturen festgestellt wurden. Die vorgegebenen 
Wahrnehmbarkeitsschwellwerte thk,l sind fur Luminanz- und Chrominanzkomponenten Y, I, Q jeweils 
verschieden. Fur die Luminanzkomponente muss die Auflosung der Schwellwerte im Gegensatz zu den 
Chromakomponenten relativ hoch sein. 

Die Figuren 2a, b und c zeigen die Wahrnehmbarkeitsschwellwerte thk,l fur die Y, I, Q-Komponenten 
eines 8x8 Blockes. Die gekreuzten Stellen bei den Chromakomponenten brauchen nicht berucksichtigt 
werden, da das menschliche Auge fur Farbsignale nicht so empfindlich ist. 

Fur die DC-Antei!e ist eine solche Schwellwertentscheidung im allgemeinen nicht erforderlich, kann jedoch 
nach Bedarf vorgenommen werden, insbesondere mit fest vorgegebenen Schwellwerten. Die DC-Anteile 
werden im Ausfuhrungsbeispiel blockweise linear quantisiert - QDC - und anschliessend einem Pradiktor 
zugefuhrt. Das Blockschaltbild fur einen solchen Pradiktor ist in Fig. 3 dargestellt. Ein Pradiktionswert S' 
wird erhalten durch eine gewichtete Summierung von 3 benachbarten DC-Koeffizienten, die zuvor fur die 
Obertragung benutzt wurden. Fig. 4 zeigt schematisch die Anordnung der Referehzwerte A1, A2 und A3 
fur eine zweidimensionale Pradiktion der DC-Koeffizienten. Die gekreuzte Stelle entspricht dem 
Pradiktionswert. Die Pradiktionskoeffizienten fur A1 , A2 und A3 bezuglich der Signalkomponenten Y, I, Q 
zeigt Fig. 5. Eine lnteger(Ganzzahl-)Rundung NINT zur Redundanzreduktion fuhrt nur zu ganzzahligen 
Pradiktionsfehlern fur die Obertragung. Am Ausgang des Pradiktors ist eine Subtrahierstufe angeordnet, 
die vom Eingangswert S fur die Pradiktion das Ausgangssignal der Rundung subtrahiert. 

Fur den AC-Anteil wird das Ausgangssignal der Wahrnehmbarkeitsschwellwertentscheidung einer 
Klassifikation (Classification) unterzogen. Diese Klassifikation lasst sich durch den Ausdruck 
cncc = CL (sthk.l, cc) 

beschreiben. Sie ist also von der Supra-threshold-lnformation und der Signalkomponente cc abhangig. 
cncc bedeutet die Klassennummer einer Signalkomponente. Durch die Klassifikation wird die 
Zugehorigkeit der Spektralkoeffizienten eines Blockes zu vorher festgelegten Klassen beschrieben. Eine 
ausfuhrliche Behandlung der Klassifikation erfolgt noch an anderer Stelle. 

Nach der Klassifikation wird fur die AC-Anteile eine Block-Quantisierung BQ (Block Quantisition) 
vorgenommen, die zu folgender Beziehung fuhrt: 
Vk,l = BQ (wk.l, thk,l, eb) 

Vk,l stellen quantisierte Spektralkoeffizienten dar. Diese Blockquantisierung kann gegebenenfalls auch fur 
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den DC-Anteil vorgenommen werden, wie noch erlautert wird. 

Ubertragungsdaten werden bezuglich des DC-Anteils durch Codieren der quantisierten Pradiktionsfehler 
COD-QF aufbereitet und bezuglich der AC-Anteile durch Codieren der blockquantisierten 
Spektralkoeffizienten Vk,l - Transmission Coding. Die Transmission Coding lasst sich durch die Beziehung 
h = TC (Vk.l, cncc, cc) 

beschreiben. Sie erfolgt im Sinne einer Entropiecodierung. Durch die Klassifikation werden 
Zusatzubertragungsdaten gewonnen, die die Zugehorigkeit der Spektralkoeffizienten eines Blockes zu 
vorher festgelegten Klassen kennzeichnen. Durch Ubertragen dieser Zusatzdaten konnen die 
Ubertragungsdaten anhand der Klassenzugehorigkeit ausgedunnt werden; denn fur jene 
Spektralkoeffizienten, die zu einer Klasse gehoren, reicht es aus, nur eine 
Klassenzugehorigkeitsinformation zu ubertragen. 

Der in Fig. 1 vorgestellte Ubersichtsablauf wird nun naher erlautert. Die DCT lasst sich durch folgende 
Beziehung ausdrucken: EMI9.1 

Die Kantenerkennung ist in der DE Patentanmeldung P 35 42 484.2 ausfuhrlich beschrieben, soli hier 
aber nochmals in allgemeiner Form erlautert werden. Den Ubersichtsplan der Kantenerkennung (Edge 
Detector) zeigt Fig. 6. Zuerst wird ein Operatorfenster definiert (Operator window Definition), 
an,m = OW (xij) , 
wobei 

am,n = Xi1 j1 
m=1,2,3 
n = 1, 2, 3 
i1 = i-2+n 
j1 = j-2+m ist, 

was ein^r 3x3 Matrix fur Spektralkoeffizienten entspricht. Dieses Operatorfenster wird auf eine "Edgepoint 
detection" EP abgebildet, derart dass "Edge-poinf-Koeffizienten epij entstehen. 

Die Edgepointdetection lasst sich beschreiben zu: EMI10.1 

Anschliessend erfolgt eine "Edgepoinf-Entscheidung EPD 
epij = EPD (Sm,n) 

Diese Entscheidung ist in Fig. 7 dargestellt. Zu jedem epij gehort eine Matrix Sm,n (Darstellung ohne 
s2,2), aus deren Elementen -1 und 1 sich Kantenorientierungen in Vielfachen von pi /8 vereinbaren 
lassen. Der zugehorige Orientierungswinkel der Kanten (angle of edge) ist in Fig. 7 ebenfalls dargestellt. 
Im Ablauf wird nun untersucht, ob alle Edge points abgearbeitet sind. Ist dies nicht der Fall, wird mit den 
weiteren Variablen ij = 2 ... 7 die Entscheidung nochmals vorgenommen. 
Nach der Abarbeitung aller Edgepoints erfolgt eine "Edgeblockdetection" 
eb = EB (epij), 

die durch folgende Vereinbarungen zu erfolgen hat: EMM 1 .1 

Die Schwellwertentscheidung erfolgt nach folgenden Beziehungen: EMU 1.2 

Die Wahrnehmbarkeitsschwellwerte 
thk.l (eb, cc) 

wurden schon in den Figuren 2 a,b,c vorgestellt. 

Die Klassifikation ist in der DE P 37 08 288.4 ausfuhrlich beschrieben. Es soli jedoch hier in allgemeiner 
Form darauf eingegangen werden. 

Den Funktionsablauf der Klassifikation zeigt Fig. 8. Zuerst wird in einer Entscheiderstufe auf 
Chromakomponenten l,Q und Luminanzkomponenten Y hin untersucht. Fur die Chromakomponenten l,Q 
wird eine Klassenselektion durchgefuhrt anhand der Supra-Threshold-lnformation sthk.l: 
cncc = CS (sthk,l) 

Als Klasse cncc als Klassifikation fur die Chromakomponenten wird jene ausgewahlt, die alle 
Schwellwertvariablen sthk,l uberdeckt. Diese Klassenselektion ist durch die Wahrheitstabellen gemass 
den Figuren 9 und 10 beschreibbar. Fig. 9 zeigt die Klassenselektion cnl fur die l-Komponente in 
Abhangigkeit der Supra-Threshold-lnformationen sthkj und Fig. 10 die entsprechende Klassenselektion 
cnQ fur die Q-Komponente.Fur die Luminanzwerte Y erfolgt die Klassifikation in einem dreistufigen 
Prozess: 

- einer Preprocessing Operation 
@thk,l = PO (sthk,l), 

die durch folgende Beziehungen beschreibbar ist: EMM 3.1 @@hk,l bedeutet eine modifizierte Super- 
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Threshold-Information, 

- einer Termentscheidung 
td = TE (sthkj) 

mit EMI14.1 td wird als Termvariable bezeichnet, wobei d eine Indexvariable ist, die von 1 bis ta = 18 
lauft.9 ist ein Zeilenindex fur sth und p ist ein entsprechender Spaltenindex. Fig. 1 1 zeigt die aus den 
Klassen abgeleiteten 18 Terme der Luminanzkomponente, wobei die Variablen sthq,p horizontal und die 
Termnummern td vertikal aufgetragen sind. Die Abhangigkeit der Kardinalzahl tkd von den Termen td bei 
der Entscheidung zeigt Fig. 12, 

- einer "Class Approximation" 
cny = AP (td) 

Diese "Class Approximation" selektiert die niedrigste Klassenselektionsnummer cny, die alle Terme td 
enthalt, gemass Fig. 13. 

Wie Fig. 13 zeigt, sind 16 Klassen aus 18 Termen fur die Luminanzkomponente gebildet. 

Der Ablauf der Blockquantisierung ist in Fig. 14 dargestellt. Zuerst wird festgestellt, ob ein Edgeblock eb 
detektiert wurde. Falls dies der Falls ist, wird eine Quantisierung gemass der Beziehung 
Vk,l = NINT(wk,l/thkl) 

vorgenommen. Wenn kein Edgeblock detektiert wurde, wird jeweils der Absolutbetrag der 
Spektralkoeffizienten mit den Wahrnehmbarkeitsschwellwerten thkj verglichen. Werden diese 
Wahrnehmbarkeitsschwellwerte uberschritten, erfolgt ebenfalls eine Quantisierung nach obiger 
Beziehung. Andernfalls wird die Quantisierung Vk,l der Spektralkoeffizienten auf 0 gesetzt. Dieser Prozess 
wird so lange durchgefuhrt, bis alle Spektralkoeffizienten quantisiert sind. 

Der Ablauf der Transmission Coding ist in Fig. 15 dargestellt. Zuerst wird auf das Vorhandensein einer 
Klassennummer-lnformation cn gepruft. Ist eine solche vorhanden, wird eine Entropiecodierung hen = HC 
(cny) gemass den Codiertabellen nach Fig. 16 - Entropiecodierung fur die Luminanzkomponente Y in 
Abhangigkeit der Klassennummer cny-, Fig. 17 - Entropiecodierung fur die Chromakomponente I in 
Abhangigkeit der Klassennummer cnl - und Fig. 18 - Entropiecodierung fur die Chromakomponente Q in 
Abhangigkeit der Klassennummer cnQ - vorgenommen. 

Wird keine Klassennummer-lnformation festgestellt, wird untersucht, ob DC Oder AC-Koeffizienten Vdc 
Oder Vac vorliegen. Beim Auftreten von AC-Koeffizienten wird nach der Beziehung 
hac = HC (Vac) 

codiert. Die zugehorige Codiertabelle zeigt Fig. 1 9. Fur die AC-Koeffizienten sind die Absolutbetrage der 
Amplitudenwerte angegeben. Es wird eine Hufmann-Codierung verwendet. 

Beim Auftreten von DC-Koeffizienten wird eine zweidimensionale Pradiktion EM1 16.1 vorgenommen, wie 
in Fig. 4 dargestellt. Die zugehorigen Pradiktionskoeffizienten wurden bereits im Zusammenhang mit Fig. 
5 erlautert. Nach der Pradiktion erfolgt eine Berechnung gemass: 
DELTA = NINT (Vdc) - dc 
mit dc = 

Die Codierung 

hdc = HC ( DELTA ) 

wird gemass der Codiertabelle nach Fig. 20 vorgenommen, die die Pradiktionswertcodierung fur I undQ 
Komponenten zeigt. 

Nachdem alle Blocke codiert sind, wird von der eigentlichen Ubertragung noch eine 
Ubertragungsaufbereitung vorgenommen, d.h. eine Zusammenfassung aller codierten Daten zu einem 
kontinuierlichen Datenstrom (Transmission Sequenzing). Dazu konnen ubliche Multiplextechniken 
herangezogen werden. 

Zur Decodierung der Bilddaten auf der Empfangsseite sind die zuvor aufgefuhrten Massnahmen invers 
auszufuhren - inverse DCT, Decodierung gemass den angefuhrten Codiertabellen. 
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Method for coding image signals 

Claims of EP0283715 



1. Verfahren zur Codierung von Bildsignalen unter Verwendung einer diskreten Transformation, 
beispielsweise der Diskreten Cosinus Transformation (DCT) zur Bildung von Spektralkoeffizienten, wobei 
Kantenstrukturen festgestellt werden und eine visuelle Wahrnehmbarkeits-Schwellwertentscheidung 
vorgenommen wird, gekennzeichnet durch folgende Massnahmen:: 

- blockweises Aufspalten der Spektralkoeffizienten in Gleich- und Wechselanteile, wobei die Gleichanteile 
jeweils mittlere Helligkeitswerte bezuglich der Luminanzkomponente und mittlere Farbsattigungswerte 
bezuglich der Chromakomponenten fur jeden Block von Spektralkoeffizienten darstellen und die 
Wechselanteile die jeweiligen ortlichen Abweichungen von diesen mittleren Werten innerhalb eines 
Blockes bilden, 

- Steuern der Schwellwertentscheidung bezuglich der Wechselanteile im Sinne einer 
Schwellenreduzierung bei der Schwellwertentscheidung, wenn Kantenstrukturen festgestellt wurden, 

- Quantisieren der durch die gesteuerte Schwellwertentscheidung erhaltenen Signale sowie der 
Gleichanteile, 

- Ermitteln von Pradiktionsfehlern fur die quantisierten Gleichanteile, 

- Aufbereiten von Ubertragungsdaten durch Codieren der quantisierten Pradiktionsfehler fur die 
Gleichanteile und Codieren der quantisierten Wechselanteile im Sinne einer Entropiecodierung. 

2. Verfahren nach Anspruch 1, gekennzeichnet durch 

- Aufbereiten von Zusatzubertragungsdaten, wobei diese Zusatzubertragungsdaten aus Informationen 
uber die Zugehorigkeit der Spektralkoeffizienten eines Blockes zu vorher festgelegten Klassen bestehen, 

- Ausdunnen der Ubertragungsdaten anhand der Informationen uber die Zugehorigkeit der 
Spektralkoeffizienten zu Klassen derart, dass die Obertragungsdaten nur jene Spektralkoeffizienten in 
einem Block berucksichtigen, die zu einer festgelegten Klasse gehoren. 
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